相同版本的CDH集群间迁移hdfs以及hbase

前言

　　由于项目数据安全的需要，这段时间看了下hadoop的distcp的命令使用，不断的纠结的问度娘，度娘告诉我的结果也让我很纠结，都是抄来抄去，

还好在牺牲大量的时间的基础上还终于搞出来了，顺便写这个随笔，记录下。

环境

　　目前我们是两套同版本的CDH集群，集群内的节点通信使用的私网，提供浮动ip对外通信，也就是说，两个集群间的私网是不互通的，只能通过浮动ip

进行通信。

操作

使用hadoop提供的distcp命令进行数据迁移 （数据源集群source和目标集群target版本相同）

迁移hdfs的文件

1)、将source的hosts配置复制到target的hosts中  ， 注意使用source的节点的浮动ip

2)、由于集群的节点是以私网的方式通信，如果是这种情况，必须开启namenode和datanode都绑定到了0.0.0.0 ，不然会报连接拒绝的异常

2)、在target的namenode中进入hdfs用户 （为的是避免写hdfs出现 权限问题 ） 

3)、在tartget的namenode中使用命令 hadoop distcp -overwrite -i webhdfs://sourceNN:50070/solr webhdfs://targetNN:50070/ 

  （说明： 中间的参数 不明白 ，可以问度娘或自己看官方文档，

 sourceNN source集群的NameNode, 由于不能使用私网通信，所以只能选择 webhdfs， 端口是cdh默认的端口50070）

迁移hbase   推荐使用方案二 简单 效率高

方案1

4)、直接使用HBASE提供的exort和import工具，这些工具包含在HBASE的jar包中。他们使用MAPREDUCE进行导入导出操作，可以将部分或全部表写入到HDFS文件中。
hadoop jar hbase-0.94.10.jar export -Dhbase.client.scanner.caching=100 weather_data /weather_data
export命令后面，用户必须从左到右指定参数，不能省略这中间任何一个参数。

5)、使用distcp命令将导出的文件复制到目标集群以后再使用导入命令进行导入。

6)、HBASE数据导入
hadoop jar hbase-0.94.10.jar import weather_data /weather_data

方案2：

7)、在tartget的namenode中执行 hadoop distcp webhdfs://sourceNN:50070/hbase/data/default hdfs://targetNN:50070/hbase/data/       迁移hbase中命名空间是default的所有的表

8)、迁移完成之后，启动hbase集群服务，并执行如下的两个命令，恢复元数据，否则hbase集群不会识别新迁移过来的表:
hbase hbck -fix
hbase hbck -repairHoles
（注意 ： 可能会有权限问题， 通过提升权限或换用户解决）

总结

1)、出现异常，根据异常问度娘，有条件最好问谷歌， 多看官方文档，检查是否参数使用正确。

2)、假如distcp一个目录时出现 file not exist 异常，有可能是目录过大导致的，可以试着减少distcp的文件目录数量，假如还报异常，那还是检查下是不是参数有问题。

 

3)、认真分析自己使用distcp碰到的问题， 不可盲从百度出的结果。